พระราชวรวงศ์เธอ กรมหมื่นกวีพจน์สุปรีชา มีพระนามเดิมว่า พระบวรวงศ์เธอ พระองค์เจ้ากัลยาณประวัติ ทรงรับราชการในรัชกาลที่ 5 ทรงเข้ารับราชการในกรมยุทธนาธิการ ตำแหน่งเสมียนฝึกหัด จนได้เลื่อนเป็นนายร้อยเอก ต่อมาในปี พ.ศ. 2435 ย้ายมารับราชการในกระทรวงมหาดไทย เป็นพนักงานหนังสือลับ[2] จากนั้นในวันที่ 13 เมษายน พ.ศ. 2444 โปรดเกล้าฯ ให้เป็น ปลัดบัญชี กระทรวงมหาดไทย[3] และได้เป็น ข้าหลวงตรวจการกรมสรรพากรนอก เมื่อวันที่ 15 สิงหาคม พ.ศ. 2451 ต่อมาได้เลื่อนเป็นเจ้ากรมมหาดไทย ในรัชกาลที่ 6 เป็นเลขานุการหอพระสมุดวชิรญาณ ถึงวันที่ 11 พฤศจิกายน พ.ศ. 2456 โปรดให้สถาปนาเป็น พระราชวรวงษ์เธอ กรมหมื่นกวีพจน์สุปรีชา ทรงศักดินา 11000[4] ต่อมาได้รับโปรดเกล้าฯ เป็นองคมนตรี[5] และทรงพระราชทานยศนายกองตรีเสือป่า